在本文中,我们尝试使用神经网络结构来预测仅从其主要结构(氨基酸序列)的蛋白质的二级结构({\ alpha}螺旋位置)。我们使用该FCNN实施了完全连接的神经网络(FCNN)和预成型的三个实验。首先,我们对在鼠标和人类数据集进行训练和测试的模型进行跨物种比较。其次,我们测试了改变蛋白质序列长度的影响,我们输入了模型。第三,我们比较旨在专注于输入窗口中心的自定义错误功能。在论文的最后,我们提出了一个可以应用于问题的替代性,复发性神经网络模型。
translated by 谷歌翻译
强化学习最近已成为解决棋盘游戏领域中复杂问题的非常强大的工具,其中通常需要代理来根据其自身的经验和收到的奖励来学习复杂的策略和移动。尽管RL胜过用于玩简单视频游戏和受欢迎的棋盘游戏的现有最新方法,但它尚未证明其在古代游戏中的能力。在这里,我们解决了一个这样的问题,在该问题中,我们使用不同的方法来训练代理商,即蒙特卡洛,Qlearning和Hir Hir Hight Sarsa能够学习最佳政策来发挥战略性的UR皇家游戏。我们游戏的状态空间很复杂,但是我们的代理商在玩游戏和学习重要的战略动作方面表现出令人鼓舞的结果。尽管很难得出结论,当接受有限的资源培训时,算法总体上的表现更好,但预计SARSA在学习最快的学习方面表现出了令人鼓舞的结果。
translated by 谷歌翻译
Model compression via quantization and sparsity enhancement has gained an immense interest to enable the deployment of deep neural networks (DNNs) in resource-constrained edge environments. Although these techniques have shown promising results in reducing the energy, latency and memory requirements of the DNNs, their performance in non-ideal real-world settings (such as in the presence of hardware faults) is yet to be completely understood. In this paper, we investigate the impact of bit-flip and stuck-at faults on activation-sparse quantized DNNs (QDNNs). We show that a high level of activation sparsity comes at the cost of larger vulnerability to faults. For instance, activation-sparse QDNNs exhibit up to 17.32% lower accuracy than the standard QDNNs. We also establish that one of the major cause of the degraded accuracy is sharper minima in the loss landscape for activation-sparse QDNNs, which makes them more sensitive to perturbations in the weight values due to faults. Based on this observation, we propose the mitigation of the impact of faults by employing a sharpness-aware quantization (SAQ) training scheme. The activation-sparse and standard QDNNs trained with SAQ have up to 36.71% and 24.76% higher inference accuracy, respectively compared to their conventionally trained equivalents. Moreover, we show that SAQ-trained activation-sparse QDNNs show better accuracy in faulty settings than standard QDNNs trained conventionally. Thus the proposed technique can be instrumental in achieving sparsity-related energy/latency benefits without compromising on fault tolerance.
translated by 谷歌翻译
神经符号(NESY)集成将符号推理与神经网络(NNS)结合在一起,用于需要感知和推理的任务。大多数NESY系统都依赖于逻辑知识的持续放松,并且在模型管道中没有做出离散决策。此外,这些方法假定给出了符号规则。在本文中,我们提出了深入的符号学习(DSL),这是一个学习NESY函数的NESY系统,即,(集合)感知函数的组成,将连续数据映射到离散符号,以及一组符号功能符号。 DSL同时学习感知和符号功能,同时仅接受其组成(NESY功能)训练。 DSL的关键新颖性是它可以创建内部(可解释的)符号表示形式,并将其映射到可区分的NN学习管道中的感知输入。自动选择创建的符号以生成最能解释数据的符号函数。我们提供实验分析,以证实DSL在同时学习感知和符号功能中的功效。
translated by 谷歌翻译
以下论文是“社会NCE:对社会意识的运动表示的对比度学习”的可重复性报告。\ footNote {\ href {https://github.com/vita-epfl/social-nce} {https://github.com/vita-epfl/social-nce}}}。我们试图验证作者声称的结果,并在Pytorch Lightning中重新成熟。
translated by 谷歌翻译
对比性自我监督学习方法学会将图像(例如图像)映射到无需标签的情况下将图像映射到非参数表示空间中。尽管非常成功,但当前方法在训练阶段需要大量数据。在目标训练集规模限制的情况下,已知概括是差的。在大型源数据集和目标样本上进行微调进行预处理,容易在几杆方向上过度拟合,在几个弹药方面,只有少量的目标样本可用。在此激励的情况下,我们提出了一种用于自我监督的对比度学习的域适应方法,称为少数最大的学习方法,以解决对目标分布的适应问题,这些问题在几乎没有射击学习下。为了量化表示质量,我们在包括ImageNet,Visda和FastMRI在内的一系列源和目标数据集上评估了很少的最大最大速度,在这些数据集和FastMRI上,很少有最大最大的最大值始终优于其他方法。
translated by 谷歌翻译
Existing integrity verification approaches for deep models are designed for private verification (i.e., assuming the service provider is honest, with white-box access to model parameters). However, private verification approaches do not allow model users to verify the model at run-time. Instead, they must trust the service provider, who may tamper with the verification results. In contrast, a public verification approach that considers the possibility of dishonest service providers can benefit a wider range of users. In this paper, we propose PublicCheck, a practical public integrity verification solution for services of run-time deep models. PublicCheck considers dishonest service providers, and overcomes public verification challenges of being lightweight, providing anti-counterfeiting protection, and having fingerprinting samples that appear smooth. To capture and fingerprint the inherent prediction behaviors of a run-time model, PublicCheck generates smoothly transformed and augmented encysted samples that are enclosed around the model's decision boundary while ensuring that the verification queries are indistinguishable from normal queries. PublicCheck is also applicable when knowledge of the target model is limited (e.g., with no knowledge of gradients or model parameters). A thorough evaluation of PublicCheck demonstrates the strong capability for model integrity breach detection (100% detection accuracy with less than 10 black-box API queries) against various model integrity attacks and model compression attacks. PublicCheck also demonstrates the smooth appearance, feasibility, and efficiency of generating a plethora of encysted samples for fingerprinting.
translated by 谷歌翻译
听诊器录制的胸部声音为新生儿的偏远有氧呼吸健康监测提供了机会。然而,可靠的监控需要高质量的心脏和肺部声音。本文介绍了新生胸部声音分离的新型非负基质分子(NMF)和非负矩阵协同分解(NMCF)方法。为了评估这些方法并与现有的单源分离方法进行比较,产生人工混合物数据集,包括心脏,肺和噪音。然后计算用于这些人造混合物的信噪比。这些方法也在现实世界嘈杂的新生儿胸部声音上进行测试,并根据生命符号估计误差评估,并在我们以前的作品中发达1-5的信号质量得分。此外,评估所有方法的计算成本,以确定实时处理的适用性。总的来说,所提出的NMF和NMCF方法都以2.7db到11.6db的下一个最佳现有方法而言,对于人工数据集,0.40至1.12的现实数据集的信号质量改进。发现10S记录的声音分离的中值处理时间为NMCF和NMF的342ms为28.3。由于稳定且稳健的性能,我们认为我们的提出方法可用于在真实的环境中弃绝新生儿心脏和肺部。提出和现有方法的代码可以在:https://github.com/egrooby-monash/heart-and-lung-sound-eparation。
translated by 谷歌翻译
随着数据湖泊在今天的大型企业中越来越受欢迎,越来越需要在数据湖泊中标记或分类数据湖泊中的数据资产(例如,文件和数据库),以及所推断的元数据可以启用一系列下游应用程序,如数据治理(例如,GDPR合规性)和数据集搜索。鉴于当今企业数据湖泊的纯粹大小与数据库和数百万数据资产,数据资产必须是“自动标记”的,使用轻量级推理算法和最小用户输入。在这项工作中,我们开发Auto-Tag,一种语料库驱动方法,可自动为企业数据湖泊中的\ Textit {Custom}数据类型提供数据标记。使用自动标记,用户只需要提供\ texit {ONE}示例列以演示所需的数据类型标记。利用索引结构使用数据湖的轻量级扫描建立了脱机,类似于机器学习中的预先训练,自动标签可以将合适的数据模式推断为最好的“描述”“底层的”域“以交互式速度给定列,然后可以用于标记数据湖泊中的相同“类型”的附加数据。自动标签方法可以适应自定义数据类型,并显示为准确且高效。 Auto-Tag的一部分是一种基于云的数据治理和目录解决方案\ Texit {Azure PurView}的“自定义分类”功能。
translated by 谷歌翻译
在自主驾驶中,在使用深神经网络的爆炸中爆炸用于感知,预测和规划任务。由于自主车辆(AVS)更接近生产,多模态传感器输入和具有不同传感器平台的异构车队在该行业中变得越来越普遍。然而,神经网络架构通常是针对特定的传感器平台,并且对输入的变化并不稳健,使得缩放和模型部署的问题特别困难。此外,大多数玩家仍然将软件和硬件的问题视为完全独立的问题。我们提出了一个新的终端架构,广义传感器融合(GSF),其设计成使得传感器输入和目标任务都是模块化和可修改的。这使AV系统设计人员能够轻松地使用不同的传感器配置和方法进行实验,并使用在大型工程组织中共享的相同型号开辟了在异构船队上部署的能力。使用该系统,我们报告了实验结果,我们展示了昂贵的高密度(HD)激光雷达传感器的近似奇偶阶段,具有3D对象检测任务中的廉价低密度(LD)LIDAR加相机设置。这为行业铺平了道路,共同设计硬件和软件架构以及具有异质配置的大船队。
translated by 谷歌翻译